Before Fusion, Ask What to Keep: Contextual Calibration of Multimodal Signals
融合前，先问保留什么：多模态信号的上下文校准
🧭 多模态融合 · 预融合校准模块
Adelaide University · Shandong University
在融合前通过跨模态比较生成实例级与维度级校准信号，抑制干扰、保留弱但有用证据，提升多模态融合鲁棒性。
📌 工作参考价值（4 点）
- 在电商多模态推荐（商品图、文、视频）中，可借鉴此预融合校准模块，动态评估各模态当前样本的可靠性，抑制噪声模态（如低质图片或误导性描述），提升推荐特征鲁棒性。
- 模块为即插即用设计，能与现有融合结构（如注意力、门控）无缝集成，无需改变下游预测头，便于在已有推荐模型上快速试验和迭代。
- 跨模态交互方式（summary-level 比较 + 实例/维度调制）为处理用户评论中图文不一致、恶意文本等场景提供了简洁有效的校准思路。
- 该方法在多种模态缺失和噪声注入下表现稳定，可推广到用户行为序列、社交关系等多源信息的融合预校准，增强推荐系统对缺失或低质量数据的容错性。